我们通过介绍Quiver神经网络的概念来开发一种统一的理论方法来分析各种神经网络连接体系结构。受箭量表示理论的启发，这种方法提供了一种紧凑的方法来捕获复杂的网络体系结构中精心设计的数据流。作为应用程序，我们使用参数空间对称性来证明一种无损模型压缩算法的颤动神经网络，其某些非点线激活称为重新激活。在径向重新恢复激活的情况下，我们证明，使用梯度下降的压缩模型等同于用预计梯度下降训练原始模型。
translated by 谷歌翻译
我们介绍了一类完全连接的神经网络，其激活功能而不是点，而是仅取决于其规范来缩回特征向量。我们称此类网络径向神经网络，扩展了先前在旋转模棱两可的网络上的工作，该网络认为将激活重新激活较少。我们证明了径向神经网络的通用近似定理，包括在更困难的宽度和无界域的情况下。我们的证明技术是新颖的，与偶然的情况不同。此外，径向神经网络在可训练参数的矢量空间上表现出丰富的基础对称性。分解这些对称性会导致实用的无损模型压缩算法。通过梯度下降对压缩模型的优化等效于整个模型的投影梯度下降。
translated by 谷歌翻译
我们提出了一个通用，灵活和可扩展的框架DPART，这是一个开源python库，用于私人合成数据生成。该方法的核心是自回旋建模 - 将联合数据分布分配到一系列较低维的条件分布序列，这些分布由各种方法（例如机器学习模型（逻辑/线性回归，决策树）等）捕获，简单直方图，简单直方图，或定制技术。该图书馆的创建是为了作为快速且可访问的基线以及容纳广泛的用户，从综合数据生成的第一步到具有域专业知识的经验丰富的人，他们可以配置不同方面建模并贡献新的方法/机制。DPART的特定实例包括独立，优化版本的Privbayes和新提出的模型DP-SynthPop。代码：https：//github.com/hazy/dpart
translated by 谷歌翻译
2021-12-16
我们提出了一种视觉本地化系统，这些系统在合成数据的帮助下学习在现实世界中估算相机姿势。尽管近年来取得了重大进展，但大多数基于学习的学习方法在单个域中的视觉定位目标，并需要良好的地理标记图像的密集数据库运行。为了减轻数据稀缺问题并提高神经定位模型的可扩展性，我们介绍了Topo-Datagen，这是一个多功能合成数据生成工具，在真实和虚拟世界之间平稳地遍历，铰接在地理相机视点。建议新的大型SIM-to-Real基准数据集展示并评估所述合成数据的效用。我们的实验表明，合成数据在实际上提高了真实数据的神经网络性能。此外，我们介绍Crossloc，一种跨模型视觉表示学习方法来姿态估计，可以通过自我监督充分利用现场坐标地面真理。在没有任何额外数据的情况下，Crossloc显着优于最先进的方法，并实现了更高的实际数据样本效率。我们的代码可在https://github.com/topo-epfl/crossloc获得。
translated by 谷歌翻译
生成的对抗网络（GANS）是生成综合数据，尤其是图像的最流行的方法之一，用于数据共享目的。鉴于在原始数据中保留各个数据点隐私至关重要的重要意义，GAN培训利用具有差异隐私保障（如差异隐私（DP）等强大隐私保证的框架。然而，当呈现有不平衡的数据集时，这些方法仍然超越单个性能指标之外。为此，我们系统地将培训的Gans与两个透视图的不同数据不平衡设置中的两个最着名的DP框架培训培训 - 从两个透视图 - 生成的合成数据和它们的类别中的类别分类绩效。我们的分析表明，与DP-SGD类似，应用头脑对下面的/超代表的类别具有不同的影响，但在更温和的幅度下使其更加强大。有趣的是，我们的实验一直表明，对于PITE，与DP-SGD不同，隐私式实用权折衷不是单调递减，而是更平滑和倒置U形，这意味着增加了小程度的隐私实际上有助于泛化。但是，我们还确定了一些设置（例如，大不平衡），Pate-GaN完全无法学习培训数据的一些子部分。
translated by 谷歌翻译
接受差异隐私（DP）训练的生成模型可用于生成合成数据，同时最大程度地降低隐私风险。我们分析了DP对数据的影响不足的数据/子组的影响，特别是研究：1）合成数据中类/子组的大小和2）分类任务的准确性在其上运行。我们还评估了各种不平衡和隐私预算的影响。我们的分析使用了三种最先进的DP模型（Privbayes，DP-WGAN和PATE-GAN），并表明DP在生成的合成数据中产生相反的大小分布。它影响了多数族裔和少数族裔/亚组之间的差距；在某些情况下，通过减少它（一种“罗宾汉”效应），而在其他情况下则通过增加它（一种“马修”效应）。无论哪种方式，这都会导致（类似）对合成数据的分类任务准确性的（类似）不同的影响，从而更加不成比例地影响了代表性不足的数据。因此，当培训模型对合成数据时，可能会导致不均匀地处理不同亚群的风险，从而得出不可靠或不公平的结论。
translated by 谷歌翻译
包含数据增强的贝叶斯神经网络隐含地使用“无随机扰动的日志 - 似然，[哪个]没有作为有效的似然函数的干净解释''（Izmailov等，2021）。在这里，我们为开发具有数据增强的原则贝叶斯神经网络的方法提供了几种方法。我们介绍了一个“有限轨道”的设置，允许完全计算似然性，并在更常见的“完全轨道”设置中为更紧密的多样本限制。这些模型在寒冷后效应的起源上投射光线。特别是，我们发现甚至在包括数据增强的这些原则模型中仍然存在寒冷的后效。这表明冷的后效不能使用不正确的可能性作为数据增强的伪影。
translated by 谷歌翻译